Explainable Transformer Models for Clinical Prediction Tasks on Structured Electronic Health Records
可解释 Transformer 模型用于结构化电子健康记录的临床预测任务
🧭 结构化 EHR 序列建模 · 可解释性
Sanofi · Carnegie Mellon University
将化验值按百分位分箱离散为 token 并结合 Integrated Gradients，实现 EHR 序列预测与 token 级解释
📌 工作参考价值（4 点）
- 数值特征离散化：将连续特征（如价格、时长、评分）通过分位数分箱映射为离散 token，既适配 Transformer 输入，又保留相对大小信息，可用于用户行为序列建模。
- 可解释性归因：Integrated Gradients 对输入 token 序列做贡献归因，可用于诊断推荐模型中哪些历史行为或特征驱动了预测，辅助特征筛选和模型审计。
- 预训练 + 微调：在大规模用户序列上预训练通用行为语言模型，再针对具体任务（点击率、转化率）微调，类似 BERT-LER 在 EHR 上的做法。
- 论文是医疗领域，但序列建模和数值编码策略可迁移到电商用户行为序列、广告曝光序列等场景。